Tháng 5 năm 1946, Chủ tịch Hồ Chí Minh qua Pháp thương thuyết với Bộ trưởng Thuộc địa Marius Moutet. Ông cùng với kỹ sư luyện kim Võ Quý Huân, bác sĩ Trần Hữu Tước theo Hồ Chủ tịch về nước, tham gia tổ chức, chế tạo vũ khí cho quân đội tại núi rừng Việt Bắc. Ngày 5 tháng 12 năm đó, Hồ Chí Minh đặt tên mới cho ông là Trần Đại Nghĩa và trực tiếp giao cho ông làm Cục trưởng Cục Quân giới (nay là Tổng cục Công nghiệp Quốc phòng Việt Nam), năm 1948 phong quân hàm Thiếu tướng [4], Giám đốc Nha nghiên cứu Quân giới[5] (nay là Viện Khoa học và Công nghệ Quân sự), Bộ Tổng tư lệnh Quân đội.

Trong quân đội từng giữ các chức vụ: Cục trưởng Cục pháo binh, Phó chủ nhiệm Tổng cục Hậu cần (1966), Phó Chủ nhiệm Tổng cục Kỹ thuật.

Sau khi hòa bình lập lại ở miền bắc ông được chuyển sang lĩnh vực dân sự giữ chức: Thứ trưởng Bộ Công thương[6], Thứ trưởng Bộ Công nghiệp nặng [7], Ủy viên Ủy ban Khoa học Nhà nước [8], Chủ nhiệm Ủy ban Kiến thiết Cơ bản Nhà nước[9], Chủ nhiệm Ủy ban Khoa học và Kỹ thuật Nhà nước[9],[10], Viện trưởng Viện Khoa học Việt Nam (1975), Chủ tịch đầu tiên của Liên hiệp các Hội Khoa học và Kĩ thuật Việt Nam (nhiệm kỳ 1983-1988), Đại biểu Quốc hội khoá II, III.

Ông được phong quân hàm Thiếu tướng trong đợt đầu tiên năm 1948. Ông đã được trao tặng Huân chương Hồ Chí Minh và danh hiệu Anh hùng Lao động (tại đại hội Anh hùng, chiến sĩ thi đua toàn quốc đầu tiên năm 1952).

Năm 1996, ông được Nhà nước Việt Nam trao tặng Giải thưởng Hồ Chí Minh đợt 1 về Cụm công trình nghiên cứu và chỉ đạo kỹ thuật chế tạo vũ khí (Bazooka, súng không giật, đạn bay) trong thời kỳ kháng chiến chống Pháp 1945-1954. Các công trình nghiên cứu của ông được quốc tế đánh giá cao, được ứng dụng rộng rãi trong Quân đội Nhân dân Việt Nam và là nỗi kinh hoàng của quân đội đối phương. Trong tác phẩm Street Without Joy của Bernard B. Fall ở trang 237 có viết về súng SKZ của ông như sau "...and the feared Viet-Minh SKZ recoilless cannon oppened up at minimum range upon the "soft" vehicles...".[11]

Năm 1966, ông được bầu làm Viện sĩ nước ngoài của Viện Hàn lâm Khoa học Liên Xô.

Những năm cuối đời, ông cùng gia đình trở về quê hương miền Nam, sinh sống tại quận Phú Nhuận, Thành phố Hồ Chí Minh.

Ông mất vào 16 giờ 20 phút ngày 9 tháng 8 năm 1997, hưởng thọ 84 tuổi.